Dilahirkan di St Helier, Carshalton, John Major tidak menonjol dalam persekolahannya. Pada dekad 1950-an, perniagaan hiasan taman ayahnya gagal, dan keluarganya terpaksa berpindah ke Brixton pada tahun 1955.

Pada tahun 1959 ketika berumur 16 tahun, Major tamat sekolah dengan tiga kelulusan dalam Sijil Pelajaran Am (GCE). Beliau memohon menjadi konduktor bas tetapi permohonannya ditolak kerana terlalu rendah. Pekerjaan pertamanya adalah sebagai kerani pembrokeran insuran. Disebabkan tidak suka akan kerja itu, Major meletakkan jawatan dan membantu dalam perniagaan hiasan taman ayahnya. Pada masa ini, beliau juga menyertai Pemuda Konservatif di Brixton.

Pada tahun 1963, selepas satu tempoh pengangguran, Major bekerja di Lembaga Elektrik London dan memutuskan untuk mengambil kursus pembankan melalui gaya pos. Beliau kemudian menjadi eksekutif di Bank Standard Chartered pada tahun 1965 dan kerjayanya naik dengan pantas.

Major berkahwin dengan Norma Johnson pada 3 Oktober 1970 ketika berumur 27 tahun. Mereka dikurniakan dengan seorang anak lelaki, James, dan seorang anak perempuan, Elizabeth.